#Google TPU
Google第八代TPU詳解:聯手博通與聯發科挑戰輝達!
當地時間2026年4月22日,在拉斯維加斯舉行的Google Cloud Next '26大會上,Google正式發佈了第八代張量處理器(TPU)。這是Google史上首次將AI訓練與推理任務拆分至兩款獨立晶片——專為模型訓練設計的TPU 8t與專為推理最佳化的TPU 8i,標誌著其AI硬體戰略的重大轉向。與此同時,Google宣佈其第七代TPU Ironwood正式向雲客戶開放,並預告了與輝達的深度合作——將在2026年下半年成為首家提供NVIDIA Vera Rubin NVL72超級電腦的雲服務商。為何拆分訓練與推理?Google做出這一戰略調整的根本原因,是AI計算負載的日益分化。GoogleAI與基礎設施高級副總裁兼首席技術官Amin Vahdat在官方部落格中指出:“隨著AI智能體的興起,我們確定業界將受益於針對訓練和推理需求分別進行專門最佳化的晶片。”具體而言,訓練任務追求極致的吞吐量與規模擴展能力,需要晶片具備最高的計算密度和記憶體頻寬,以在數周甚至數月內處理兆級參數。而推理任務則對延遲和並行更為敏感——當數百萬個AI智能體同時執行階段,響應速度至關重要,而對峰值算力的要求相對較低。Amin Vahdat在大會現場明確表示:“這兩款晶片都是從頭開始專門為訓練和推理設計的,而非彼此衍生產品。它們的規格、能力、互聯方式都因各自需求而專門設計。Alphabet首席執行長桑達爾·皮查伊則強調,這一新架構旨在以低成本提供大規模吞吐量和低延遲,滿足數百萬個AI智能體同時運行的需求。TPU 8t:大規模預訓練旗艦晶片TPU 8t由Google和博通共同設計,是Google為超大規模AI模型訓練打造的旗艦晶片。單個超級計算節點最多可整合9,600塊TPU 8t晶片,配備2 PB高頻寬記憶體,每Pod計算性能達121 exaflops(FP4精度),較上一代Ironwood提升約3倍,同等價格下性能提升2.8倍。通過JAX與Pathways框架,可將分佈式訓練擴展至單一叢集超過100萬塊晶片。在架構設計上,TPU 8t採用雙計算芯粒加單I/O芯粒的架構,配備8組12層堆疊的HBM3e高頻寬記憶體。晶片搭載了SparseCore專用加速器,專門處理大語言模型尋找過程中常見的不規則記憶體訪問問題;同時支援原生FP4浮點精度,矩陣運算單元算力吞吐直接翻倍,海量資料搬運功耗大幅下降。為匹配海量資料吞吐需求,Google全新研發了Virgo互聯架構,訓練場景資料中心網路頻寬最高提升至前代4倍。該架構採用高基數交換機減少層級,扁平化兩層無阻塞拓撲結構,單套網路可互聯13.4萬顆TPU 8t晶片,無阻塞二分頻寬高達47Pbps,晶片間互聯頻寬較上一代提升2倍。在儲存訪問方面,TPU 8t通過TPU直連RDMA和TPU直連儲存兩項技術,繞過CPU實現TPU與網路卡、高速儲存之間的直接記憶體訪問,儲存訪問速度提升10倍。此外,晶片還擁有一整套可靠性、可用性與可維護性能力,包括即時遙測監控、自動檢測並繞過故障鏈路、以及無需人工干預自動重構硬體拓撲的光路電路交換技術。TPU 8i:高並行推理專屬平台TPU 8i首次由Google和聯發科合作設計,專注於AI推理場景,旨在消除“等待室效應”——即使用者請求被有意排隊或延遲以實現硬體利用率最大化的情況。單個Pod可擴展至1,152塊晶片,提供11.6 exaflops FP8計算性能,較Ironwood同等價格下性能提升80%,每瓦性能較上一代提升117%。TPU 8i最顯著的特徵是搭載了384MB片上SRAM快取,容量是上一代Ironwood的三倍。這一設計的核心價值在於可將更大的KV Cache保留在晶片上,大幅減少長上下文解碼時晶片核心的空閒等待時間,實現更快的文字生成速度和更低的延遲。晶片還引入了全新的集合通訊加速引擎(CAE),專門加速自回歸解碼與思維鏈推理所需的規約與同步運算,多核心結果聚合幾乎零延遲,片上集合通訊延遲較前代降低5倍。單顆TPU 8i內建兩顆張量核心和一顆片上CAE,替代前代Ironwood的四顆稀疏計算核心。TPU 8i最大的架構創新在於放棄了TPU傳統的3D環形拓撲結構,轉而採用全新的Boardfly層級互聯拓撲。在MoE(混合專家模型)與推理模型時代,任意晶片都需要隨時互通Token資料,跳轉次數直接決定性能。對於8×8×16規模(1024晶片)的3D環形網路,最遠晶片通訊需要16跳;而Boardfly拓撲在同等規模下僅需7跳,網路直徑縮減56%。Boardfly採用分層設計:4顆晶片環形互聯構成基礎單元,8塊板卡通過銅纜全互聯構成本地算力組,36個算力組通過光開關互聯構成最高1024顆晶片的叢集。在這種結構下,任意兩枚晶片之間的通訊最多隻需經過7次跳轉,全對全通訊延遲改善最高50%,這對混合專家模型和頻繁的跨晶片令牌路由極為有利。TPU 8i配備288GB HBM高頻寬記憶體,結合384MB片上SRAM,確保模型的活躍工作集能夠完全保留在晶片內部運行,從根本上解決“記憶體牆”問題。基於2nm製程,2027年底量產兩款第八代TPU晶片均搭載了Google自研的Arm架構Axion CPU作為主控,徹底解決資料預處理延遲導致的主機算力瓶頸。晶片採用台積電2nm製程工藝製造,目標在2027年底量產,並由公司第四代液冷技術支援散熱。在軟體生態方面,第八代TPU支援JAX、PyTorch、Keras及vLLM等主流框架,原生PyTorch支援現已進入預覽階段,使用者可直接遷移模型而無需修改程式碼。Anthropic已承諾採用GoogleTPU的採用率正在持續攀升。Anthropic已承諾採用數GW等級的TPU算力,2027年上線規模將擴展至3.5吉瓦,成為第八代TPU的錨定客戶。此外,Citadel Securities已利用TPU打造量化研究軟體,美國能源部旗下17個國家實驗室全面採用基於TPU的AI協同科學家系統。分析師普遍認為,Google通過將TPU一拆為二,是對AI訓練與推理需求加速分化的直接回應,有助於大幅提升特定場景下的單位算力性價比,從而降低雲客戶部署成本。 (芯智訊)
剛剛,Google發佈第8代TPU,算力怪獸、性能爆表!
目錄為訓練而生的 TPU 8t專注代理式 AI 及推理需求的 TPU 8i與 Gemini 共同設計、支援廣泛開發框架最大化能源效率Google Cloud 的 TPU 以往都是採用單晶片兼具訓練及推理功能的設計,不過在 Google Cloud 年度盛會 Google Cloud Next '26 上,宣佈推出兩款差異化的第 8 代 TPU 產品,攜手 Google DeepMind 開發針對訓練的 TPU 8t 以及針對推理的 TPU 8i。Google強調通過針對 AI 兩大核心任務不同的執行需求進行最佳化設計,進一步將性能發揮到極致。同時 Google 也強調兩款晶片都能運行各類 AI 負載,只是在各自擅長的領域表現更強。為訓練而生的 TPU 8t▲用於訓練的 TPU 8t Pod 晶片總量雖未翻倍,但晶片互聯及叢集互聯頻寬大幅提升、FP4 性能顯著增強。TPU 8t 旨在處理大規模、計算密集型訓練任務,提供更高的計算吞吐量與可擴展頻寬,滿足 AI 模型訓練需求,單晶片配備 216GB HBM。Google 表示,基於 TPU 8t 的 Pod 相較上一代產品性能提升 3 倍,可將模型開發周期從數月縮短至數周,並儘可能提升能源效率。TPU 8t 可擴展至 9600 顆晶片與 2PB 的 HBM 記憶體,晶片間頻寬相較上一代提升兩倍,可實現高達 121 ExaFlops 的算力,讓超大型模型能夠使用統一的超大記憶體池。此外,TPU 8t 還整合了速度提升 10 倍的儲存訪問,通過 TPUDirect 讓資料繞過 CPU 直接進入 TPU,進一步提升計算效率。借助 Google 全新 Virgo 網路以及 JAX、Pathways 軟體,TPU 8t 可在包含百萬顆晶片的叢集中實現近乎線性的性能擴展。同時,TPU 8t 通過 RAS 功能保障可靠性,包括對數萬顆晶片即時監測、自動檢測並在不中斷作業的情況下繞過故障 ICI 連接,以及 OCS 光路交換任務等自主維護機制,將硬體故障對叢集及訓練的影響降至最低,力爭實現超過 97% 的有效吞吐量。專注代理式 AI 及推理需求的 TPU 8i▲由 TPU 8i 構成的推理 POD 規模更大,無論記憶體容量、頻寬還是推理性能均大幅提升。TPU 8i 是面向 AI 推理與代理式 AI 服務開發的晶片,擁有更高記憶體頻寬與極低的推理延遲。通過解決記憶體傳輸瓶頸、搭配 Axion CPU 架構、針對 MoE 混合專家模型最佳化及降低延遲等四項關鍵技術,為新一代代理式 AI 及 AI 推理需求實現最佳化設計,綜合使每美元效能提升 80%,企業可用相同成本服務兩倍的使用者。TPU 8i 搭載 288GB HBM 記憶體與 384MB 片上 SRAM,解決記憶體傳輸瓶頸,容量相較上一代提升 3 倍,幾乎不會出現等待記憶體傳輸的閒置情況。同時,TPU 8i 伺服器物理 CPU 數量相較上一代增加一倍,採用基於 Arm 指令集的 Google 定製 Axion 架構,通過非均勻記憶體架構(NUMA)隔離,進一步擴展性能。MoE 混合專家模型是代理式 AI 的發展趨勢,由多個小型專家模型組成,僅在需要時載入相關模型,執行混合任務時無需在多個模型間切換。Google 將 TPU 8i 的晶片互聯頻寬提升至 19.2TB/s,相較上一代翻倍,確保多顆 TPU 8i 組成的系統具備統一、低延遲特性,媲美大型單晶片。此外,通過片上 CAE(集體加速引擎)解除安裝全域操作,可將晶片延遲降低 5 倍,大幅縮短響應時間。與 Gemini 共同設計、支援廣泛開發框架▲無論是 TPU 8t 還是 TPU 8i,均可運行所有 AI 任務,架構則分別針對訓練與推理場景最佳化。兩款第 8 代 TPU 晶片均與 Gemini 協同設計,其中 Boardfly 拓撲結構為滿足當前最強推理模型的通訊需求而設計,TPU 8i 的 SRAM 容量則依據量產級推理模型的 KV 快取佔用空間確定,Virgo 網路架構的頻寬目標則根據兆參數訓練的平行性需求制定。同時,TPU 8t 與 TPU 8i 均搭配 Google 定製 Axion CPU 系統運行,實現系統級最佳化。兩款平台均原生支援 AX、MaxText、PyTorch、SGLang、vLLM 等常用框架,支援客戶無需虛擬化直接訪問硬體,同時開源了 MaxText 參考實現與用於強化學習的 Tunix 等相關資料。最大化能源效率:第4代液冷▲Google 強調從 CPU、TPU 到系統設計全程自主把控,實現能源效率最大化,圖為 TPU 8 系列採用的第 4 代液冷架構。面對 AI 資料中心因海量算力需求帶來的能源緊張問題,Google 表示,TPU 8t 與 TPU 8i 相較代號 Ironwood 的第 7 代 TPU,能源效率提升兩倍,最佳化覆蓋整體架構設計、整合可即時動態調節功耗的電源管理等方面。同時從晶片到資料中心實現全系統級能效最佳化,例如將網路連線與計算整合在同一晶片,降低 TPU 晶片資料傳輸能耗,並圍繞 TPU 協同設計資料中心架構,最終相較五年前每單位電力算力提升 6 倍。TPU 8t 與 TPU 8i 採用 Google 第 4 代液冷散熱架構,實現傳統風冷難以企及的高性能密度。加上從 CPU、TPU 到整機系統的全鏈路自主設計,達成傳統分體式主機與晶片方案無法實現的高效能表現。 (芯榜+)
GoogleTPU V8發佈!液冷架構曝光,四家中國液冷供應鏈有望快速受益
01.TPU V8發佈,單晶片1300W,液冷成必選,三大液冷賽道利多點2026 年 4 月 22 日,Google正式推出第八代定製 TPU,分為面向大規模訓練的TPU 8t與專注低延遲推理的TPU 8i,由 Google DeepMind 深度參與設計,是Google首次將訓練與推理晶片獨立打造的 AI 加速方案,將於年內晚些時候登陸Google AI 超級電腦。亮點1:單晶片功耗1300W,液冷成唯一可選Google於2026年4月22日在Cloud Next大會上宣佈,新一代TPU V8晶片將全面採用液冷散熱方案,TPU V8單晶片功耗達1300W,較前代V7的980W提升30%。TPU V8的單晶片功耗已超過輝達GB200單晶片功耗,風冷已完全無法滿足,液冷是本代機型的唯一選擇。依舊是延續V7採用小冷板方案,Manifold採用銅方案,這個和輝達的架構差異較大,液冷覆蓋率預估80%左右。亮點2:Google採用第四代液冷技術和Google第四代機櫃式CDU本次google的TPU v8架構將延用第四代液冷技術,CDU並未採用最新發佈的第五代2MWCDU,而是採用上一代的1MWCDU。亮點3:晶片出貨量上調,機櫃出貨量大增2026年其母公司Alphabet資本開支將超1700億美元,同比增長90%以上。同時,Google新一代訓練晶片TPU V8的出貨量呈現大幅超預期態勢,其中2026年(今年)出貨量預估達到90萬至120萬顆,較此前市場保守預估的50萬顆大幅上調,超出幅度超一倍,這一上調主要得益於Anthropic等外部大客戶的算力採購需求超預期,以及CoWoS封裝產能的逐步釋放,使得TPU V8成為2026至2027年GoogleTPU系列晶片中的放量主力型號。值得注意的是,本次上調的出貨量口徑覆蓋了TPU V8全系列,包括訓練型和推理型晶片,而此前市場僅保守關注V8p型號50萬顆的年出貨量預期。按照GoogleTPU V7/V8系列統一的標準整機櫃配置(1台整機櫃對應64顆TPU晶片)測算,2026年TPU V8對應的整機櫃數量區間為1.41萬台至1.88萬台,其中按90萬顆的出貨量下限計算,對應整機櫃數量為14062.5台,按120萬顆的出貨量上限計算,對應整機櫃數量為18750台。展望2027年,TPU V8的出貨量預估將進一步攀升至600萬顆,按照同樣的64顆/整機櫃標準配置測算,2027年TPU V8對應的整機櫃數量將達到9.375萬台。TPU V8全系列均採用液冷機櫃部署模式,隨著其出貨量的大幅增長,液冷散熱裝置以及等相關產業鏈環節的需求也將同步放量,進一步帶動整個算力產業鏈的發展。02.Google國內液冷供應鏈受益從今年Google在Cloud Next大會釋放的資訊來看。Google的ASIC晶片進展超出預期,產能與出貨量正穩步攀升,尤其TPU V8等新一代晶片出貨量大幅超預期,而且Google今年的TPU晶片將更大規模採用液冷,對於資料中心液冷基礎設施的廠商是極大利多資訊。此前Google,亞馬遜等北美頭部CSP客戶的主要液冷供應商是台灣的AVC,台達電等廠商,但幾乎液冷產能都被輝達生態預定,無法快速分出新的產能配合Asic機型的液冷需求。在這一背景下,Google轉向和更具性價比和快速交付的中國液冷供應商,為國內相關企業切入Google供應鏈、搶佔市場份額創造了絕佳機遇,國內液冷領域相關企業有望充分受益於這一行業紅利。此前三月就知情人士透露,Google近期正積極與中國多家企業展開接觸,就採購資料中心冷卻系統進行洽談。目前據最新消息,目前今年Google啟動的國內供應商洽談及審廠工作有序推進,其中四家企業的審廠進展十分順利,已逐步通過Google嚴苛的多輪稽核的相關流程,成為Google液冷供應鏈的優先受益對象。這四家企業分別是英維克,大元泵業、飛龍股份、以及立敏達(由領益智造控股)。英維克作為國內溫控龍頭,憑藉全鏈條液冷解決方案能力通過Google全流程驗證,供應Google的冷卻分配單元(CDU)。飛龍股份的電子水泵通過下游系統整合商匯入GoogleCDU供應鏈,產品適配GoogleTPU晶片的散熱需求且已獲得相關能效認證。大元泵業旗下子公司合肥新滬在液冷遮蔽泵領域具備較強競爭力,配合頭部液冷整合商的CDU產品,直接匯入Google的液冷供應鏈,供應水泵產品。立敏達通過的Google認證,將有望供應冷板及manifold,被領益智造收購後成為其切入Google供應鏈的核心載體,四家企業將優先承接Google液冷供應鏈的增量需求,在GoogleASIC晶片產能擴張的浪潮中實現業務突破與規模增長。 (零氪1+1)
Google「最強TPU」發佈!算力封神!
Google「最強TPU」發佈!目錄為訓練而生的 TPU 8t專注代理式 AI 及推理需求的 TPU 8i與 Gemini 共同設計、支援廣泛開發框架最大化能源效率Google Cloud 的 TPU 以往都是採用單晶片兼具訓練及推理功能的設計,不過在 Google Cloud 年度盛會 Google Cloud Next '26 上,宣佈推出兩款差異化的第 8 代 TPU 產品,攜手 Google DeepMind 開發針對訓練的 TPU 8t 以及針對推理的 TPU 8i。Google強調通過針對 AI 兩大核心任務不同的執行需求進行最佳化設計,進一步將性能發揮到極致。同時 Google 也強調兩款晶片都能運行各類 AI 負載,只是在各自擅長的領域表現更強。1、為訓練而生的 TPU 8t▲用於訓練的 TPU 8t Pod 晶片總量雖未翻倍,但晶片互聯及叢集互聯頻寬大幅提升、FP4 性能顯著增強。TPU 8t 旨在處理大規模、計算密集型訓練任務,提供更高的計算吞吐量與可擴展頻寬,滿足 AI 模型訓練需求,單晶片配備 216GB HBM。Google 表示,基於 TPU 8t 的 Pod 相較上一代產品性能提升 3 倍,可將模型開發周期從數月縮短至數周,並儘可能提升能源效率。TPU 8t 可擴展至 9600 顆晶片與 2PB 的 HBM 記憶體,晶片間頻寬相較上一代提升兩倍,可實現高達 121 ExaFlops 的算力,讓超大型模型能夠使用統一的超大記憶體池。此外,TPU 8t 還整合了速度提升 10 倍的儲存訪問,通過 TPUDirect 讓資料繞過 CPU 直接進入 TPU,進一步提升計算效率。借助 Google 全新 Virgo 網路以及 JAX、Pathways 軟體,TPU 8t 可在包含百萬顆晶片的叢集中實現近乎線性的性能擴展。同時,TPU 8t 通過 RAS 功能保障可靠性,包括對數萬顆晶片即時監測、自動檢測並在不中斷作業的情況下繞過故障 ICI 連接,以及 OCS 光路交換任務等自主維護機制,將硬體故障對叢集及訓練的影響降至最低,力爭實現超過 97% 的有效吞吐量。2、專注代理式 AI 及推理需求的 TPU 8i▲由 TPU 8i 構成的推理 POD 規模更大,無論記憶體容量、頻寬還是推理性能均大幅提升。TPU 8i 是面向 AI 推理與代理式 AI 服務開發的晶片,擁有更高記憶體頻寬與極低的推理延遲。通過解決記憶體傳輸瓶頸、搭配 Axion CPU 架構、針對 MoE 混合專家模型最佳化及降低延遲等四項關鍵技術,為新一代代理式 AI 及 AI 推理需求實現最佳化設計,綜合使每美元效能提升 80%,企業可用相同成本服務兩倍的使用者。TPU 8i 搭載 288GB HBM 記憶體與 384MB 片上 SRAM,解決記憶體傳輸瓶頸,容量相較上一代提升 3 倍,幾乎不會出現等待記憶體傳輸的閒置情況。同時,TPU 8i 伺服器物理 CPU 數量相較上一代增加一倍,採用基於 Arm 指令集的 Google 定製 Axion 架構,通過非均勻記憶體架構(NUMA)隔離,進一步擴展性能。MoE 混合專家模型是代理式 AI 的發展趨勢,由多個小型專家模型組成,僅在需要時載入相關模型,執行混合任務時無需在多個模型間切換。Google 將 TPU 8i 的晶片互聯頻寬提升至 19.2TB/s,相較上一代翻倍,確保多顆 TPU 8i 組成的系統具備統一、低延遲特性,媲美大型單晶片。此外,通過片上 CAE(集體加速引擎)解除安裝全域操作,可將晶片延遲降低 5 倍,大幅縮短響應時間。3、與 Gemini 共同設計、支援廣泛開發框架▲無論是 TPU 8t 還是 TPU 8i,均可運行所有 AI 任務,架構則分別針對訓練與推理場景最佳化。兩款第 8 代 TPU 晶片均與 Gemini 協同設計,其中 Boardfly 拓撲結構為滿足當前最強推理模型的通訊需求而設計,TPU 8i 的 SRAM 容量則依據量產級推理模型的 KV 快取佔用空間確定,Virgo 網路架構的頻寬目標則根據兆參數訓練的平行性需求制定。同時,TPU 8t 與 TPU 8i 均搭配 Google 定製 Axion CPU 系統運行,實現系統級最佳化。兩款平台均原生支援 AX、MaxText、PyTorch、SGLang、vLLM 等常用框架,支援客戶無需虛擬化直接訪問硬體,同時開源了 MaxText 參考實現與用於強化學習的 Tunix 等相關資料。4、最大化能源效率:第4代液冷▲Google 強調從 CPU、TPU 到系統設計全程自主把控,實現能源效率最大化,圖為 TPU 8 系列採用的第 4 代液冷架構。面對 AI 資料中心因海量算力需求帶來的能源緊張問題,Google 表示,TPU 8t 與 TPU 8i 相較代號 Ironwood 的第 7 代 TPU,能源效率提升兩倍,最佳化覆蓋整體架構設計、整合可即時動態調節功耗的電源管理等方面。同時從晶片到資料中心實現全系統級能效最佳化,例如將網路連線與計算整合在同一晶片,降低 TPU 晶片資料傳輸能耗,並圍繞 TPU 協同設計資料中心架構,最終相較五年前每單位電力算力提升 6 倍。TPU 8t 與 TPU 8i 採用 Google 第 4 代液冷散熱架構,實現傳統風冷難以企及的高性能密度。加上從 CPU、TPU 到整機系統的全鏈路自主設計,達成傳統分體式主機與晶片方案無法實現的高效能表現。 (芯榜)